정보과학회 컴퓨팅의 실제 논문지 (KIISE Transactions on Computing Practices)
Current Result Document :
| 한글제목(Korean Title) |
외부 지식이 반영된 BERT를 활용한 검색 기반 대화 시스템 |
| 영문제목(English Title) |
External Knowledge Incorporated BERT for Retrieval-based Dialogue Systems |
| 저자(Author) |
한장훈
고영중
서정연
Janghoon Han
Youngjoong Ko
Jungyun Seo
|
| 원문수록처(Citation) |
VOL 27 NO. 12 PP. 0549 ~ 0554 (2021. 11) |
한글내용
(Korean Abstract) |
인간과 상호작용할 수 있는 대화시스템 개발은 인공지능 분야의 중요한 과제 중 하나이다. 이러한 문제를 해결하기 위해 대화 시스템에서 외부 지식을 활용하는 연구는 꾸준히 진행되어 왔다. 하지만 외부 지식을 학습하기 위해서는 구조화된 지식이 필요하며, 이를 생성하기 위해선 상당한 자원이 필요하다. 이러한 관점에서 본 연구는 검색 기반 대화 시스템에서 구조화 되지 않는 텍스트를 외부 지식으로 사용하는 모델을 제안한다. 기본 모델로 사전 학습된 언어 모델인 BERT를 사용하고 사후 학습을 통해 모델에 외부 지식을 학습시킨다. 이 후 사후 학습된 모델을 대화 응답 선택 태스크에 미세조정하여 문제를 해결한다. 기존 BERT 모델에 비해 외부 지식을 학습한 모델의 성능이 우분투 코퍼스에서 R10@1 기준 1.3% 향상된 결과를 보였다. |
영문내용
(English Abstract) |
Developing dialogue systems is a crucial aspect of artificial intelligence. Various studies have been advanced to improve the performance of the dialogue systems using external knowledge. However, well-structured external knowledge is required in order to be applied to the dialogue systems, and it needs a considerable amount of time and resources to be generated. From this point of view, this study proposes a model that uses unstructured texts as external knowledge for retrieval-based dialogue systems. We use a pre-trained language model, BERT as a base model for the response selection task, and then we train BERT with the external knowledge through post-training. Eventually, the post-trained model is fine-tuned for the dialogue response selection task. Compared to existing BERT models, the performance of the post-trained model with external knowledge is improved by 1.3% in R10@1 on ubuntu corpus. |
| 키워드(Keyword) |
딥 러닝
자연어 처리
검색 기반 대화 시스템
BERT
사후 학습
대화 응답 선택
deep learning
natural language processing
retrieval-based dialog system
BERT
post-training
response selection
|
| 파일첨부 |
PDF 다운로드
|
